Perlman sinh ra ở Tel Aviv, nay là Israel. Cha mẹ ông là người Ba Lan và di cư tự do vào Palestine vào giữa thập niên 1930 trước khi họ gặp và lấy nhau. Perlman trở nên thích thú với đàn violin sau khi nghe một bản nhạc cổ điển trên radio. Lúc 3 tuổi, ông không được phép vào nhạc viện Shulamit vì còn quá bé để chơi đàn violin.[2] Ông tự học chơi nhạc cụ này bằng một cây vĩ cầm đồ chơi cho tới khi đủ lớn để học với Rivka Goldgart tại nhạc viện Shulamit và Học viện Âm nhạc Tel Aviv, nơi ông có buổi biểu diễn đầu tiên khi mười tuổi, trước khi tới Mỹ để học tại trường Juilliard với thầy giáo violin Ivan Galamian và người trợ giảng Dorothy Delay của ông.

Perlman bị liệt từ năm bốn tuổi. Ông lấy lại được sự phục hồi tốt, học cách đi dùng nạng. Hiện nay ông sử dụng nạng hoặc xe điện Amgio để di chuyển và ngồi biểu diễn trên sân khấu.